Côn Đảo hay Côn Sơn cũng hay dùng cho tên của hòn đảo lớn nhất trong quần đảo này. Sách sử Việt Nam trước thế kỷ XX thường gọi đảo Côn Sơn là đảo Côn Lôn. Theo các nhà nghiên cứu, tên gọi Côn Lôn có nguồn gốc từ tiếng Mã Lai, là "Pulau Kundur" (tạm dịch là "hòn Bí"). Người châu Âu phiên âm thành Poulo Condor (trong các văn bản tiếng Anh và tiếng Pháp). Riêng tên trong tiếng Khmer là "Koh Tralach".[1]

Năm 1977, Quốc hội Việt Nam quyết định tên gọi chính thức là Côn Đảo. Tên gọi này được sử dụng cho đến tận ngày nay.